La leçon 5 marque un tournant décisif pour COMP5511. Nous nous éloignons de la logique déterministe de l'informatique classique et de la certitude supervisée des premiers modèles de classification pour entrer dans le cœur probabiliste de l'IA générative. Au cours de cette session, nous explorons pourquoi les modèles d'IA modernes ne produisent pas de « faits » mais plutôt des distributions de probabilité, découvrant les mécanismes qui permettent aux LLM d'écrire de la poésie et aux modèles de diffusion de peindre à partir du bruit.

1. Le changement de paradigme : De la logique à la probabilité

• Au-delà du SI-ALORS : Transition des règles rigides aux probabilités statistiques fluides.
• La fin de la certitude : Comprendre pourquoi les résultats de l'IA générative sont non déterministes par conception.
• La probabilité comme outil : Comment « l'ère de l'IA générative » considère l'incertitude comme une fonctionnalité pour la créativité plutôt qu'un bug à corriger.

2. Les moteurs probabilistes de la création

L'IA générative repose sur l'échantillonnage d'espaces de probabilité de haute dimension. Qu'il s'agisse de générer du texte ou des images, le modèle navigue dans l'incertitude pour produire de la nouveauté :

• Modèles de langage étendus (LLM) : Prédiction du jeton suivant non pas comme un choix unique, mais comme une distribution de possibilités.
• Modèles de diffusion : L'art de l'ingénierie inverse pour créer de l'ordre à partir d'un bruit gaussien.
• Le Processus d'Échantillonnage : Comment l'aléatoire est exploité pour éviter des sorties répétitives et « robotiques ».

3. Les agents dans des mondes imprévisibles

Les agents autonomes doivent naviguer dans des «mondes ouverts» où chaque action comporte un degré de risque et de récompense inconnu.